问题引入

世界...为什么总要分开呢?为什么有大的就有小的,有好的就有坏的?换句话说,世界上所有的支持向量机,究竟是我们自己对世界的一种的主观划分,还是上帝本来就是这么做的?


找到一个最好的超平面,将不同类别的样本分开

线性分类器回顾

Pasted image 20240427144220.png

间隔(Margin)与支持向量(Support Vector)

要掌握的概念

  • 超平面方程
  • r(图中点到超平面的局里)
  • 支持向量(图里面被圈起来的点)
  • 间隔γ Pasted image 20240427145648.png

支持向量机基本形式

目的:

最大间隔:寻找参数w和b,使得γ最大 Pasted image 20240427145809.png

s.t 约束代表所有的点到超平面的的距离一定大于等于1

为了求导更方便,转换一下公式成如下这样 Pasted image 20240427145936.png

这是一个凸优化问题,虽然有直接的工具包可以解决,但是用拉格朗日乘子解决它更爽一些。

拉格朗日乘子法在其中的应用(对偶问题)

  • 第一步:引入拉格朗日乘子得到拉格朗日函数 Pasted image 20240427150311.png

  • 第二步:令拉个朗日函数对w和b的偏导为0可得 Pasted image 20240427150508.png

  • 第三步:回代目标函数后可得: Pasted image 20240427150613.png

解的特性

Pasted image 20240427151049.png